Connexionisme

El connexionisme (encunyat per Edward Thorndike a la dècada de 1930) és un nom d'una aproximació a l'estudi dels processos mentals humans amb moltes "ones". La primera ona va aparèixer a la dècada de 1950 amb Warren Sturgis McCulloch i Walter Pitts centrats en la comprensió dels circuits neuronals mitjançant un enfocament formal i matemàtic, i Frank Rosenblatt, que va publicar el llibre de 1958 "The Perceptron: A Probabilistic Model For Information Storage and Organization in the Brain" (El perceptró: un model probabilístic per a l'emmagatzematge i l'organització de la informació al cervell), mentre treballava al Cornell Aeronautical Laboratory.^[1]

La primera onada va acabar amb el llibre de 1969 sobre les limitacions de la idea original del perceptró, escrit per Marvin Minsky i Papert, que va contribuir a dissuadir les principals agències de finançament dels EUA d'invertir en investigació connexionista.^[2] Amb unes quantes desviacions notables, la majoria de la investigació connexionista va entrar en un període d'inactivitat fins a mitjans dels anys vuitanta.

La segona onada va començar a finals de la dècada de 1980, després del llibre de 1987 sobre processament distribuït paral·lel de James L. McClelland, David E. Rumelhart et al., que va introduir un parell de millores a la idea de perceptró simple, com els processadors intermedis com a processadors intermedis (coneguts ara com "capes ocultes") al costat de les unitats d'entrada i sortida i utilitzava la funció d'activació sigmoide en lloc de l'antiga funció "tot o res". El seu treball, al seu torn, s'ha basat en el de John Hopfield, que va ser una figura clau en la investigació de les característiques matemàtiques de les funcions d'activació sigmoide.^[3] Des de finals de la dècada de 1980 fins a mitjans de la dècada de 1990, el connexionisme va adquirir un to gairebé revolucionari quan Schneider,^[4] Terence Horgan i Tienson van plantejar la qüestió de si el connexionisme representava un canvi fonamental en la psicologia i en GOFAI.^[3] Alguns avantatges de l'enfocament connexionista de la segona onada inclouen la seva aplicabilitat a una àmplia gamma de funcions, l'aproximació estructural a les neurones biològiques, els baixos requisits d'estructura innata i la capacitat de degradació graciosa.^[5] Alguns desavantatges de l'enfocament connexionista de la segona onada inclouen la dificultat per desxifrar com les ANN processen la informació, o expliquen la composicionalitat de les representacions mentals, i la dificultat resultant per explicar els fenòmens a un nivell superior.^[6]

L'actual (tercera) onada ha estat marcada pels avenços en l'aprenentatge profund que permeten models d'idiomes grans.^[7] L'èxit de les xarxes d'aprenentatge profund durant l'última dècada ha augmentat molt la popularitat d'aquest enfocament, però la complexitat i l'escala d'aquestes xarxes ha comportat un augment dels problemes d'interpretabilitat.